Представьте крупную языковую модель (LLM) как блестящего, но универсального учёного. Чтобы превратить этого универсалиста в специалиста — например, клинического рентгенолога или юриста по контрактам — мы проходим путь через спектр адаптации моделей. Этот спектр определяет, как мы переходим от нулевой подсказки к глубокой модификации нейронных сетей, уравновешивая ограничения оборудования с потребностью в достижении наивысшего уровня (SOTA) результатах.
Ключевые режимы адаптации
- Обучение в контексте (ICL): модель остаётся «замороженной». Она учится оценивать $P(y|x)$, наблюдая примеры прямо внутри подсказки. Хотя это быстро, часто возникают высокая дисперсия и галлюцинации.
- Согласованность и стабильность: чтобы достичь надёжности для промышленного использования, мы должны продвигаться вправо по спектру. Дообучение обеспечивает лучшую согласованность с человеческим суждением явно штрафуя отклонения от истинных образцов.
- Цель достижения наивысшего уровня: достижение максимальной производительности требует принятия компромиссов. Полное дообучение даёт максимальный контроль, но несёт риск «катастрофической потери» знаний, в то время как PEFT (эффективное по параметрам дообучение) обеспечивает компромиссный вариант, удобный для оборудования.
Реальный пример
Рассмотрим медицинского помощника. При использовании ICL, вы даёте три примера симптомов и диагнозов в подсказке. При использовании дообучения, вы обучаете модель на 50 000 медицинских записях. Последний метод создаёт модель, которая естественным образом понимает клинический жаргон и демонстрирует гораздо более высокую стабильность и согласованность.